Model Evaluation Metrics (Accuracy, Precision, Recall, F1 Score)

Machine Learning - সাইকিট-লার্ন (Scikit-Learn) - Supervised Learning এর বেসিক ধারণা
271

মেশিন লার্নিং মডেলের পারফরম্যান্স মূল্যায়ন করার জন্য বিভিন্ন মেট্রিক্স ব্যবহার করা হয়। Accuracy, Precision, Recall, এবং F1 Score হলো সবচেয়ে সাধারণ মেট্রিক্স, যা ক্লাসিফিকেশন মডেলের পারফরম্যান্স পরিমাপ করতে ব্যবহৃত হয়। এই মেট্রিক্সগুলো বুঝতে পারলে আপনি মডেলের কার্যকারিতা আরও ভালোভাবে মূল্যায়ন করতে পারবেন।


1. Accuracy (একুরেসি)

Accuracy হলো মডেল দ্বারা সঠিকভাবে শ্রেণিবদ্ধ (classified) ডেটার পরিমাণের অনুপাত। এটি মোট সঠিক পূর্বাভাসের সংখ্যা (True Positives + True Negatives) ভাগে মোট ডেটা পয়েন্টের সংখ্যা (সবটি ডেটা পয়েন্ট)। এটি মডেলের সামগ্রিক সঠিকতা পরিমাপ করে।

ফর্মুলা:

Accuracy=True Positives+True NegativesTotal Data Points\text{Accuracy} = \frac{\text{True Positives} + \text{True Negatives}}{\text{Total Data Points}}

যেমন:

  • একটি মডেল ১০০টি ডেটা পয়েন্টের মধ্যে ৯০টি সঠিক পূর্বাভাস করেছে, তাহলে accuracy হবে ৯০%।

উপকারিতা:

  • সহজে বোঝার মতো এবং সবার জন্য পরিচিত।

সীমাবদ্ধতা:

  • এটি অসমান শ্রেণী (class imbalance) ডেটা সজ্জিত থাকলে সঠিক ফলাফল নাও দিতে পারে। অর্থাৎ, যদি একটি শ্রেণী অনেক বড় হয় এবং অন্যটি ছোট হয়, তবে মডেল শুধুমাত্র বড় শ্রেণীর উপর ভিত্তি করে বেশি সঠিক হতে পারে।

2. Precision (প্রিসিশন)

Precision হলো মডেল দ্বারা "পজিটিভ" শ্রেণীতে পূর্বাভাস করা সবগুলোকে সঠিকভাবে পজিটিভ হিসেবে শ্রেণিবদ্ধ করার পরিমাণ। অর্থাৎ, কতটি পূর্বাভাস সত্যিই সঠিক পজিটিভ ছিল। এটি বিশেষভাবে গুরুত্বপূর্ণ যখন মডেল ভুল পজিটিভ (False Positive) কম রাখতে চায়।

ফর্মুলা:

Precision=True PositivesTrue Positives+False Positives\text{Precision} = \frac{\text{True Positives}}{\text{True Positives} + \text{False Positives}}

যেমন:

  • যদি একটি মডেল ৮০টি পজিটিভ পূর্বাভাস দিয়েছে, যার মধ্যে ৭০টি সঠিক, তাহলে precision হবে 7080=0.875\frac{70}{80} = 0.875 বা ৮৭.৫%।

উপকারিতা:

  • বিশেষভাবে গুরুত্বপূর্ণ যখন ভুল পজিটিভ (False Positives) কমানো প্রয়োজন, যেমন রোগ সনাক্তকরণ মডেলে।

3. Recall (রিকল)

Recall, বা Sensitivity বা True Positive Rate, হলো মডেল দ্বারা সঠিকভাবে শনাক্ত করা পজিটিভ ক্লাসের পরিমাণ। এটি মডেলের ক্ষমতা পরিমাপ করে যে, এটি কতটা ভালোভাবে পজিটিভ শ্রেণী চিহ্নিত করতে পারছে। অর্থাৎ, পজিটিভ ডেটার মধ্যে কতটুকু সঠিকভাবে সনাক্ত হয়েছে।

ফর্মুলা:

Recall=True PositivesTrue Positives+False Negatives\text{Recall} = \frac{\text{True Positives}}{\text{True Positives} + \text{False Negatives}}

যেমন:

  • একটি মডেল ৭০টি সঠিক পজিটিভ শনাক্ত করেছে, তবে মোট ১০০টি পজিটিভ ছিল, তাহলে recall হবে 70100=0.7\frac{70}{100} = 0.7 বা ৭০%।

উপকারিতা:

  • এটি বিশেষভাবে গুরুত্বপূর্ণ যখন ভুল নেগেটিভ (False Negatives) কমানো প্রয়োজন, যেমন রোগ সনাক্তকরণে যেখানে ভুলভাবে স্বাস্থ্যবান মানুষকে রোগী হিসেবে চিহ্নিত করা ভুল হতে পারে।

4. F1 Score (F1 স্কোর)

F1 Score হলো Precision এবং Recall এর গাণিতিক গড়। এটি মডেলের সামগ্রিক পারফরম্যান্স পরিমাপ করে, যেখানে precision এবং recall উভয়কেই সমান গুরুত্ব দেওয়া হয়। F1 Score হলো দুটি মেট্রিক্সের সমন্বিত পরিমাপ, যা তাদের মধ্যে ভারসাম্য তৈরি করে।

ফর্মুলা:

F1 Score=2×Precision×RecallPrecision+Recall\text{F1 Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}

যেমন:

  • যদি precision = 0.8 এবং recall = 0.6, তাহলে F1 Score হবে: F1 Score=2×0.8×0.60.8+0.6=2×0.481.4=0.6857 বা 68.57%

উপকারিতা:

  • F1 Score বিশেষভাবে গুরুত্বপূর্ণ যখন precision এবং recall উভয়েরই গুরুত্ব থাকে এবং আপনি তাদের মধ্যে একটি ভারসাম্য চান। এটি অসমান শ্রেণী (class imbalance) ডেটার জন্য একটি ভালো মেট্রিক্স।

মেট্রিক্সের তুলনা

মেট্রিক্সব্যাখ্যাকীভাবে ব্যবহৃত হয়
Accuracyসঠিক পূর্বাভাসের অনুপাত।সাধারণত ব্যবহার করা হয়, তবে class imbalance এ সমস্যা হতে পারে।
Precisionপজিটিভ পূর্বাভাসগুলোর মধ্যে সঠিক পজিটিভের অনুপাত।যখন ভুল পজিটিভ (False Positives) কমানো জরুরি, যেমন রোগ সনাক্তকরণ।
Recallপজিটিভ ডেটার মধ্যে সঠিক পজিটিভের অনুপাত।যখন ভুল নেগেটিভ (False Negatives) কমানো জরুরি, যেমন ফ্রড ডিটেকশন।
F1 ScorePrecision এবং Recall এর গাণিতিক গড়।Precision এবং Recall এর মধ্যে ভারসাম্য রাখতে গুরুত্বপূর্ণ।

সারাংশ

  • Accuracy হলো মডেলের সঠিকতা পরিমাপের জন্য সবচেয়ে সাধারণ মেট্রিক, তবে এটি ক্লাস ইমব্যালেন্সের ক্ষেত্রে সঠিক ফলাফল নাও দিতে পারে।
  • Precision ভুল পজিটিভের হার কমানোর জন্য ব্যবহৃত হয়, যেমন রোগ নির্ণয়ের ক্ষেত্রে।
  • Recall ভুল নেগেটিভ কমানোর জন্য ব্যবহৃত হয়, যেমন ফ্রড বা জরুরি পরিস্থিতি চিহ্নিতকরণের জন্য।
  • F1 Score হলো Precision এবং Recall এর মধ্যে একটি ভারসাম্য যা দুইটি মেট্রিক্সের শক্তিশালী দিকগুলো একত্রিত করে।

এই মেট্রিক্সগুলো মডেলের পারফরম্যান্স মূল্যায়ন এবং উন্নত করার জন্য অত্যন্ত গুরুত্বপূর্ণ।

Content added By
Promotion
NEW SATT AI এখন আপনাকে সাহায্য করতে পারে।

Are you sure to start over?

Loading...